Forecasting With LLMs: Improved Generalization Through Feature Steering
通过特征导向提升LLM预测泛化能力
🧭 LLM 预测偏置纠正 · 特征干预
University of Chicago
用稀疏自编码器识别LLM的时间感知特征，通过放大这些特征减少预测中的前瞻偏差
📌 工作参考价值（4 点）
- 避免时序泄露：在推荐系统中用 LLM 做用户行为预测时，可通过类似特征干预方法，确保模型基于历史信息而非未来数据生成推荐，防止离线评估虚高。
- 特征发现与调控：利用稀疏自编码器探查模型内部是否包含“时间作弊”特征，并抑制这类特征，提升线上实时预测的可靠性。
- 生成式推荐中的因果干预：若使用 LLM 直接生成推荐列表（GenRec），可借鉴特征放大/抑制策略，强制模型依赖因果性更强的用户兴趣表征，减少流行度偏差。
- 领域迁移稳健性：论文展示跨领域干预有效，提示对电商多场景（如不同品类）下的 LLM 推荐，可共享时间感知特征，降低场景迁移时的重新训练成本。